Pure transformers have shown great potential for vision tasks recently. However, their accuracy in small or medium datasets is not satisfactory. Although some existing methods introduce a CNN as a teacher to guide the training process by distillation, the gap between teacher and student networks would lead to sub-optimal performance. In this work, we propose a new One-shot Vision transformer search framework with Online distillation, namely OVO. OVO samples sub-nets for both teacher and student networks for better distillation results. Benefiting from the online distillation, thousands of subnets in the supernet are well-trained without extra finetuning or retraining. In experiments, OVO-Ti achieves 73.32% top-1 accuracy on ImageNet and 75.2% on CIFAR-100, respectively.

The number of international benchmarking competitions is steadily increasing in various fields of machine learning (ML) research and practice. So far, however, little is known about the common practice as well as bottlenecks faced by the community in tackling the research questions posed. To shed light on the status quo of algorithm development in the specific field of biomedical imaging analysis, we designed an international survey that was issued to all participants of challenges conducted in conjunction with the IEEE ISBI 2021 and MICCAI 2021 conferences (80 competitions in total). The survey covered participants' expertise and working environments, their chosen strategies, as well as algorithm characteristics. A median of 72% challenge participants took part in the survey. According to our results, knowledge exchange was the primary incentive (70%) for participation, while the reception of prize money played only a minor role (16%). While a median of 80 working hours was spent on method development, a large portion of participants stated that they did not have enough time for method development (32%). 25% perceived the infrastructure to be a bottleneck. Overall, 94% of all solutions were deep learning-based. Of these, 84% were based on standard architectures. 43% of the respondents reported that the data samples (e.g., images) were too large to be processed at once. This was most commonly addressed by patch-based training (69%), downsampling (37%), and solving 3D analysis tasks as a series of 2D tasks. K-fold cross-validation on the training set was performed by only 37% of the participants and only 50% of the participants performed ensembling based on multiple identical models (61%) or heterogeneous models (39%). 48% of the respondents applied postprocessing steps.

Inspired by the impressive success of contrastive learning (CL), a variety of graph augmentation strategies have been employed to learn node representations in a self-supervised manner. Existing methods construct the contrastive samples by adding perturbations to the graph structure or node attributes. Although impressive results are achieved, it is rather blind to the wealth of prior information assumed: with the increase of the perturbation degree applied on the original graph, 1) the similarity between the original graph and the generated augmented graph gradually decreases; 2) the discrimination between all nodes within each augmented view gradually increases. In this paper, we argue that both such prior information can be incorporated (differently) into the contrastive learning paradigm following our general ranking framework. In particular, we first interpret CL as a special case of learning to rank (L2R), which inspires us to leverage the ranking order among positive augmented views. Meanwhile, we introduce a self-ranking paradigm to ensure that the discriminative information among different nodes can be maintained and also be less altered to the perturbations of different degrees. Experiment results on various benchmark datasets verify the effectiveness of our algorithm compared with the supervised and unsupervised models.

视觉变压器在计算机视觉任务中表现出色。但是，其（本地）自我注意机制的计算成本很昂贵。相比之下，CNN具有内置的电感偏置效率更高。最近的作品表明，CNN有望通过学习建筑设计和培训协议来与视觉变形金刚竞争。然而，现有方法要么忽略多层次特征，要么缺乏动态繁荣，从而导致次优性能。在本文中，我们提出了一种名为MCA的新型注意力机制，该机制通过多个内核大小捕获了输入图像的不同模式，并启用具有门控机制的输入自适应权重。根据MCA，我们提出了一个名为Convformer的神经网络。争辩者采用了视觉变压器的一般体系结构，同时用我们提出的MCA代替了（本地）自我注意的机制。广泛的实验结果表明，在各种任务中，应变器优于相似的大小视觉变压器（VIT）和卷积神经网络（CNN）。例如，在ImageNet数据集上，交货式S，Convformer-l实现82.8％的最新性能，top-1的精度为83.6％。此外，在ADE20K上，Convformer-S优于1.5 miOU的Swin-T，在Coco上具有较小型号的Coco上的0.9边界盒AP。代码和型号将可用。

大规模图在现实情况下无处不在，可以通过图神经网络（GNN）训练以生成下游任务的表示形式。鉴于大规模图的丰富信息和复杂的拓扑结构，我们认为在这样的图中存在冗余，并将降低训练效率。不幸的是，模型可伸缩性严重限制了通过香草GNNS训练大规模图的效率。尽管在基于抽样的培训方法方面取得了最新进展，但基于抽样的GNN通常忽略了冗余问题。在大规模图上训练这些型号仍然需要无法容忍的时间。因此，我们建议通过重新思考图中的固有特征来降低冗余并提高使用GNN的大规模训练效率。在本文中，我们开拓者提出了一种称为dropreef的曾经使用的方法，以在大规模图中删除冗余。具体而言，我们首先进行初步实验，以探索大规模图中的潜在冗余。接下来，我们提出一个度量标准，以量化图中所有节点的异质性。基于实验和理论分析，我们揭示了大规模图中的冗余，即具有高邻居异质的节点和大量邻居。然后，我们建议Dropreef一劳永逸地检测并删除大规模图中的冗余，以帮助减少训练时间，同时确保模型准确性没有牺牲。为了证明DropReef的有效性，我们将其应用于最新的基于最新的采样GNN，用于训练大规模图，这是由于此类模型的高精度。使用Dropreef杠杆，可以大力提高模型的训练效率。 Dropreef高度兼容，并且在离线上执行，从而在很大程度上使目前和未来的最新采样GNN受益。

深度强化学习在基于激光的碰撞避免有效的情况下取得了巨大的成功，因为激光器可以感觉到准确的深度信息而无需太多冗余数据，这可以在算法从模拟环境迁移到现实世界时保持算法的稳健性。但是，高成本激光设备不仅很难为大型机器人部署，而且还表现出对复杂障碍的鲁棒性，包括不规则的障碍，例如桌子，桌子，椅子和架子，以及复杂的地面和特殊材料。在本文中，我们提出了一个新型的基于单眼相机的复杂障碍避免框架。特别是，我们创新地将捕获的RGB图像转换为伪激光测量，以进行有效的深度强化学习。与在一定高度捕获的传统激光测量相比，仅包含距离附近障碍的一维距离信息，我们提议的伪激光测量融合了捕获的RGB图像的深度和语义信息，这使我们的方法有效地有效障碍。我们还设计了一个功能提取引导模块，以加重输入伪激光测量，并且代理对当前状态具有更合理的关注，这有利于提高障碍避免政策的准确性和效率。

本文回顾了AIM 2022上压缩图像和视频超级分辨率的挑战。这项挑战包括两条曲目。轨道1的目标是压缩图像的超分辨率，轨迹〜2靶向压缩视频的超分辨率。在轨道1中，我们使用流行的数据集DIV2K作为培训，验证和测试集。在轨道2中，我们提出了LDV 3.0数据集，其中包含365个视频，包括LDV 2.0数据集（335个视频）和30个其他视频。在这一挑战中，有12支球队和2支球队分别提交了赛道1和赛道2的最终结果。所提出的方法和解决方案衡量了压缩图像和视频上超分辨率的最先进。提出的LDV 3.0数据集可在https://github.com/renyang-home/ldv_dataset上找到。此挑战的首页是在https://github.com/renyang-home/aim22_compresssr。

在本文中，我们介绍了训练两层过度参数的Relu神经网络中动量方法的收敛分析，其中参数的数量明显大于训练实例的参数。动量方法上的现有作品表明，重球方法（HB）和Nesterov的加速方法（NAG）共享相同的限制普通微分方程（ODE），从而导致相同的收敛速率。从高分辨率的动力学角度来看，我们表明HB与NAG在收敛速率方面有所不同。此外，我们的发现为HB和NAG的高分辨率ODES的收敛性提供了更严格的上限。

通过将自然图像的复杂分布近似通过可逆神经网络（INN）近似于潜在空间中的简单拖延分布，已成功地用于生成图像超分辨率（SR）。这些模型可以使用潜在空间中的随机采样点从一个低分辨率（LR）输入中生成多个逼真的SR图像，从而模拟图像升级的不足的性质，其中多个高分辨率（HR）图像对应于同一LR。最近，INN中的可逆过程也通过双向图像重新缩放模型（如IRN和HCFLOW）成功使用，以优化降尺度和逆向上尺度的关节，从而显着改善了高尺度的图像质量。尽管它们也被优化用于图像降尺度，但图像降尺度的不良性质可以根据不同的插值内核和重新采样方法将一个HR图像缩小到多个LR图像。除了代表图像放大的不确定性的原始缩小潜在变量外，还引入了图像降压过程中的模型变化。这种双重可变变量增强功能适用于不同的图像重新缩放模型，并且在广泛的实验中显示，它可以始终如一地提高图像升级精度，而无需牺牲缩小的LR图像中的图像质量。它还显示可有效增强基于Inn的其他模型，用于图像恢复应用（例如图像隐藏）。

由于复杂的注意机制和模型设计，大多数现有的视觉变压器（VIT）无法在现实的工业部署方案中的卷积神经网络（CNN）高效，例如张力和coreml。这提出了一个独特的挑战：可以设计视觉神经网络以与CNN一样快地推断并表现强大吗？最近的作品试图设计CNN-Transformer混合体系结构来解决这个问题，但是这些作品的整体性能远非令人满意。为了结束这些结束，我们提出了下一代视觉变压器，以在现实的工业场景中有效部署，即下一步，从延迟/准确性权衡的角度来看，它在CNN和VIT上占主导地位。在这项工作中，下一个卷积块（NCB）和下一个变压器块（NTB）分别开发出用于使用部署友好机制捕获本地和全球信息。然后，下一个混合策略（NHS）旨在将NCB和NTB堆叠在有效的混合范式中，从而提高了各种下游任务中的性能。广泛的实验表明，在各种视觉任务方面的延迟/准确性权衡方面，下一个VIT明显优于现有的CNN，VIT和CNN转换混合体系结构。在Tensorrt上，在可可检测上，Next-Vit超过5.4 MAP（从40.4到45.8），在类似延迟下，ADE20K细分的8.2％MIOU（从38.8％到47.0％）。同时，它可以与CSWIN达到可比的性能，而推理速度则以3.6倍的速度加速。在COREML上，在类似的延迟下，在COCO检测上，下一步超过了可可检测的4.6 MAP（从42.6到47.2），ADE20K分割的3.5％MIOU（从45.2％到48.7％）。代码将最近发布。